Python数据科学分享——2.数据处理
Python数据处理历史悠久,除了基础的Numpy、Scipy、pandas构建繁荣生态,还有谷歌推出的tensorflow、jax高性能工具
- Numpy
- Scipy稀疏矩阵
- Pandas
- Cython与Numba
- pyspark

%load_ext autoreload
%autoreload 2
import matplotlib.pyplot as plt
import seaborn
seaborn.set()
plt.rcParams["font.sans-serif"] = ["SimHei"]
import numpy as np
import pandas as pd
from scipy import sparse
from tqdm.notebook import tqdm
| 首发年份 | 名称 | 场景 |
|---|---|---|
| 1991 | Python | 编程语言 |
| 2001 | ipython | 增强shell |
| 2001 | SciPy | 算法库 |
| 2006 | Numpy | 数组运算 |
| 2007 | Cython | AOT静态编译 |
| 2008 | Pandas | 标签数组运算 |
| 2010 | scikit-learn | 机器学习 |
| 2012 | ipython notebook | 计算环境 |
| 2012 | anaconda | 管理工具 |
| 2012 | Numba | llvm实现JIT编译器 |
| 2012 | pyspark | 集群运算 |
| 2015 | jupyter | 多语言支持 |
| 2015 | TensorFlow | 深度学习 |
| 2018 | jax | Numpy+autogrd+JIT+GPU+TPU |
from IPython.display import Video
# https://github.com/Sentdex/NNfSiX
Video("2.data-elt/cat_neural_network.mp4", embed=True)